Do Cao Vĩ còn ít tuổi, Thái thượng hoàng vẫn tiếp tục nắm quyền đưa ra các quyết định quan trọng. Ông cũng rất yêu mến một người con trai khác với Hồ thái thượng hoàng hậu là Đông Bình vương Cao Nghiễm (高儼). Mặc dù Cao Nghiễm còn ít tuổi hơn Cao Vĩ, song ông đã phong cho Cao Nghiễm rất nhiều chức tước. Cao Nghiễm được đánh giá là thông minh và cương quyết hơn so với Cao Vĩ, và có lúc còn hỏi rằng tại sao Cao Vĩ là hoàng đế. Thái thượng hoàng và Thái thượng hoàng hậu đã tính đến việc phế truất Cao Vĩ và đưa Cao Nghiễm làm hoàng đế thay thế, song cuối cùng đã không làm như vậy.

Năm 566, do Hòa Sĩ Khai và Tổ Thỉnh vu cáo Cao Hiếu Uyển âm mưu phản loạn, Vũ Thành Đế đã cho bắt Cao Hiếu Uyển và tiến hành tra tấn, cuối cùng làm gãy chân người cháu trai này. Cao Hiếu Uyển chết do bị trọng thương, và khi em trai của Cao Hiếu Uyển là Cao Diên Tông than khóc, Thái thượng hoàng cũng đã cho bắt và tra tấn Cao Diên Tông, song không giết chết.

Năm 567, do thèm muốn có được quyền lực lớn hơn, Tổ Thỉnh đã cáo buộc Triệu Ngạn Thâm, Nguyên Văn Dao và Hòa Sĩ Khai hủ bại và chia bè kết phái, song ba người này đã nhận được tin tức trước khi Tổ Thỉnh trình tấu và tiến hành biện hộ từ trước. Thái thượng hoàng đã cho bắt Tổ Thỉnh và thẩm vấn người này. Trong quá trình thẩm vấn, Tổ Thỉnh đã xúc phạm Thái thượng hoàng khi nói rằng ông không nên giữ nhiều thị nữ như vậy và so sánh ông với Hạng Vũ và các thành tựu của ông kém xa so với Hạng Vũ. Thái thượng hoàng tức giận và đánh Tổ Thỉnh 200 gậy và giam Tổ Thỉnh vào địa lao, và trong thời gian bị giam, khói từ đèn (chất đốt làm từ hạt cải thìa) đã khiến ông ta bị mù.

Vào mùa xuân năm 568, Vũ Thành Đế lâm bệnh nặng, và một viên quan tên Từ Chi Tài (徐之才), một y sinh được đào tạo, đã chữa cho ông khỏe lại. Tuy nhiên, sau khi Thái thượng hoàng phục hồi, Hòa Sĩ Khai đã đưa Từ Chi Tài đi làm thứ sử ở Duyện châu (兗州, nay gần tương ứng với Tế Ninh, Sơn Đông). Sang mùa đông năm 568, Thái thượng hoàng lại đổ bệnh và ông cho triệu Từ Chi Tài đễn chữa trị. Tuy nhiên, trước khi Từ Chi Tài có thể đến nơi, Thái thượng hoàng đã qua đời.